视觉编码
  1. 首页
  2. 视觉编码

列表

mPLUG

mPLUG

mPLUG-Owl3是一款由阿里巴巴开发的多模态AI模型，专注于理解和处理多图及长视频内容。该模型具备高推理效率和准确性，采用创新的Hyper Attention模块优化视觉与语言信息的融合。它已在多个基准测试中展现出卓越性能，并且其源代码和资源已公开，可供研究和应用。
AI项目与工具 2025年06月12日
Video

Video

Video-LLaVA2是一款由北京大学ChatLaw课题组开发的开源多模态智能理解系统。该系统通过时空卷积（STC）连接器和音频分支，显著提升了视频和音频的理解能力。其主要功能包括视频理解、音频理解、多模态交互、视频问答和视频字幕生成。时空建模和双分支框架是其核心技术原理。Video-LLaVA2广泛应用于视频内容分析、视频字幕生成、视频问答系统、视频搜索和检索、视频监控分析及自动驾驶等领域。
AI项目与工具 2025年06月12日
LLaVA

LLaVA

LLaVA-OneVision是字节跳动开发的开源多模态AI模型，主要功能包括多模态理解、任务迁移、跨场景能力、开源贡献及高性能。该模型采用多模态架构，集成了视觉和语言信息，通过Siglip视觉编码器和Qwen-2语言模型，实现高效特征映射和任务迁移学习。广泛应用于图像和视频分析、内容创作辅助、聊天机器人、教育和培训以及安全监控等领域。
AI项目与工具 2025年06月12日
Eagle

Eagle

Eagle是一个由英伟达开发的多模态大模型，专长于处理高分辨率图像，提高视觉问答和文档理解能力。该模型采用多专家视觉编码器架构，通过简单的特征融合策略实现图像内容的深入理解。Eagle模型已开源，适用于多个行业，具有高分辨率图像处理、多模态理解、多专家视觉编码器、特征融合策略和预对齐训练等特点。
AI项目与工具 2025年06月12日
Pixtral 12B

Pixtral 12B

Pixtral 12B是一款由法国初创企业Mistral开发的多模态AI模型，能够同时处理图像和文本数据。该模型包含120亿参数，大小约为24GB，基于Nemo 12B文本模型构建。它具备强大的图像和文本处理能力，能够执行图像描述生成、统计照片中的物体数量等任务，并在多个基准测试中表现出色。Pixtral 12B将根据Apache 2.0许可证开源，用户可以自由下载和微调该模型。应用场景广泛，包括
AI项目与工具 2025年06月12日
Aria

Aria

Aria是首个开源多模态原生混合专家（MoE）模型，支持文本、代码、图像和视频的综合处理，具有强大的多模态任务处理能力和长上下文窗口，可高效应对复杂长数据。模型开源且可扩展，适用于多模态AI领域的研究与应用。
AI项目与工具 2025年06月12日
Pixtral Large

Pixtral Large

Pixtral Large是一款由Mistral AI开源的超大规模多模态模型，具备1240亿参数，支持文本、图像和图表的理解与生成。它拥有128K的上下文窗口，能在多语言环境中处理复杂文档和多图像场景，广泛应用于教育、医疗、客服和内容审核等领域。
AI项目与工具 2025年06月12日
iDP3

iDP3

iDP3是一种基于自我中心3D视觉表征的改进型人形机器人运动策略，由斯坦福大学等机构联合开发。它摒弃了对精确相机校准和点云分割的需求，具备出色的视图、对象及场景泛化能力，可高效适应未知环境。此外，其优化的视觉编码器和扩散模型进一步提高了学习和推理性能，在家庭、工业、医疗、搜救及教育等领域具有广泛应用潜力。
AI项目与工具 2025年06月12日
Valley

Valley

Valley是一款由字节跳动开发的多模态大语言模型，擅长处理文本、图像和视频数据，广泛应用于内容分析、图像和视频描述、电子商务及短视频平台等领域。其Eagle版本通过引入VisionEncoder增强了模型性能，支持灵活调整令牌数量，实现了更高效的多模态数据处理。Valley在多项基准测试中表现出色，尤其在参数规模较小的情况下依然保持优异的成绩。
AI项目与工具 2025年06月12日
UniToken

UniToken

UniToken 是一种面向多模态理解与生成任务的自回归模型，结合了离散与连续视觉表示，实现对图像语义与细节的全面捕捉。它支持图文理解、图像生成、多模态对话、复杂指令执行等多种任务，并具备细粒度视觉处理能力。适用于内容创作、智能客服、教育、医疗及自动驾驶等多个领域。
AI项目与工具 2025年06月11日